A coreference resolution system is to cluster all mentions that refer to the same entity in a given context. All coreference resolution systems need to tackle two main tasks: one task is to detect all of the potential mentions, and the other is to learn the linking of an antecedent for each possible mention. In this paper, we propose a hybrid rule-neural coreference resolution system based on actor-critic learning, such that it can achieve better coreference performance by leveraging the advantages from both the heuristic rules and a neural conference model. This end-to-end system can also perform both mention detection and resolution by leveraging a joint training algorithm. We experiment on the BERT model to generate input span representations. Our model with the BERT span representation achieves the state-of-the-art performance among the models on the CoNLL-2012 Shared Task English Test Set.

The target of a coreference resolution system is to cluster all mentions that refer to the same entity in a given context. All coreference resolution systems need to solve two subtasks; one task is to detect all of the potential mentions, and the other is to learn the linking of an antecedent for each possible mention. In this paper, we propose a reinforcement learning actor-critic-based neural coreference resolution system, which can achieve both mention detection and mention clustering by leveraging an actor-critic deep reinforcement learning technique and a joint training algorithm. We experiment on the BERT model to generate different input span representations. Our model with the BERT span representation achieves the state-of-the-art performance among the models on the CoNLL-2012 Shared Task English Test Set.

Most recent semantic frame parsing systems for spoken language understanding (SLU) are designed based on recurrent neural networks. These systems display decent performance on benchmark SLU datasets such as ATIS or SNIPS, which contain short utterances with relatively simple patterns. However, the current semantic frame parsing models lack a mechanism to handle out-of-distribution (\emph{OOD}) patterns and out-of-vocabulary (\emph{OOV}) tokens. In this paper, we introduce a robust semantic frame parsing pipeline that can handle both \emph{OOD} patterns and \emph{OOV} tokens in conjunction with a new complex Twitter dataset that contains long tweets with more \emph{OOD} patterns and \emph{OOV} tokens. The new pipeline demonstrates much better results in comparison to state-of-the-art baseline SLU models on both the SNIPS dataset and the new Twitter dataset (Our new Twitter dataset can be downloaded from https://1drv.ms/u/s!AroHb-W6_OAlavK4begsDsMALfE?e=c8f2XX ). Finally, we also build an E2E application to demo the feasibility of our algorithm and show why it is useful in real application.

Singular value decomposition (SVD) is one of the most popular compression methods that approximate a target matrix with smaller matrices. However, standard SVD treats the parameters within the matrix with equal importance, which is a simple but unrealistic assumption. The parameters of a trained neural network model may affect task performance unevenly, which suggests non-equal importance among the parameters. Compared to SVD, the decomposition method aware of parameter importance is the more practical choice in real cases. Unlike standard SVD, weighted value decomposition is a non-convex optimization problem that lacks a closed-form solution. We systematically investigated multiple optimization strategies to tackle the problem and examined our method by compressing Transformer-based language models. Further, we designed a metric to predict when the SVD may introduce a significant performance drop, for which our method can be a rescue strategy. The extensive evaluations demonstrate that our method can perform better than current SOTA methods in compressing Transformer-based language models.

在移动设备上部署机器学习模型已引起越来越多的关注。为了解决设备上硬件资源的局限性解决模型概括问题，设备模型需要通过诸如云模型的模型压缩等技术轻量级。但是，改善设备模型概括的主要障碍是云数据和设备模型数据之间的分布变化，因为设备模型上的数据分布通常会随着时间而变化（例如，用户在建议系统中可能具有不同的偏好）。尽管实时微调和蒸馏方法考虑到了这种情况，但这些方法需要进行设备训练，由于计算能力较低和设备上缺乏实时标记样品，因此实际上是不可行的。在本文中，我们提出了一个名为Metanetwork的新型任务无关框架，用于从云中生成自适应设备模型参数，而无需进行设备训练。具体而言，我们的元网络部署在云上，由元培养剂和转移器模块组成。 Metagenerator旨在学习从样本到模型参数的映射函数，并且可以根据从设备上传到云的样本生成和传递自适应参数到设备。转移剂旨在减少元烯剂的振荡，加速收敛并在训练和推理过程中提高模型性能。我们使用三个数据集评估了两个任务的方法。广泛的实验表明，元网可以以不同的方式实现竞争性能。

在信息爆炸的时代，推荐系统通过促进内容探索在人们的日常生活中起着重要作用。众所周知，用户的活动性，即行为数量，倾向于遵循长尾分布，大多数用户的积极性低。在实践中，我们观察到，在联合培训后，尾巴用户的质量推荐率明显低于首席用户。我们进一步确定，由于数据有限，因此在尾巴用户上训练的模型仍然取得了较低的结果。尽管长尾分布在推荐系统中无处不在，但在研究和行业中，提高尾巴用户的推荐性能仍然仍然是挑战。直接应用长尾分配的相关方法可能有可能伤害首席用户的经验，这是不起作用的，因为一小部分具有高积极性的首席用户贡献了平台收入的一部分。在本文中，我们提出了一种新颖的方法，可以显着提高尾巴用户的建议性能，同时至少在基本模型上为首席用户提供至少可比的性能。这种方法的本质是一种新颖的梯度聚合技术，该技术将所有用户共享的常识知识分为主干模型，然后为Head用户和Tail用户个性化提供单独的插件预测网络。至于常识学习，我们利用因果关系理论的向后调整来消除梯度估计，从而掩盖了混杂因素的骨干训练，即用户的积极性。我们对两个公共建议基准数据集和一个从支撑台平台收集的大规模工业数据集进行了广泛的实验。实证研究验证了我们方法的合理性和有效性。

显式低级正则化，例如核规范的正则化已被广泛用于成像科学。但是，已经发现，在各种图像处理任务中，隐式正规化优于明确的正规化。另一个问题是，固定的显式正则化将适用性限制为广泛图像，因为不同的图像偏爱不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低级别正则化，从训练数据中动态捕获了较低的先验。我们新的自适应和隐式低级别正则化的核心是在基于Dirichlet Energy的正则化中参数化Laplacian矩阵，我们称之为正则化空气。从理论上讲，我们表明\ retwo {air}的自适应正则化增强了训练结束时的隐式正则化和消失。我们验证了空气对各种基准任务的有效性，表明空气对缺失条目不均匀的情况特别有利。该代码可以在https://github.com/lizhemin15/air-net上找到。

及时的调整已成为模型调整的新范式，它在自然语言预处理甚至预处理方面都取得了成功。在这项工作中，我们探讨了迅速调整到多模式预处理的转移，重点是生成的多模式预审预周化模型，而不是对比度。具体而言，我们实施了迅速调整统一的序列到序列预测模型适应理解和生成任务。实验结果表明，轻重量提示调整可以通过填充并超过其他轻量调整方法来实现可比的性能。此外，与固定模型相比，迅速调整的模型表明了针对对抗性攻击的鲁棒性。我们进一步确定，实验因素，包括及时长度，及时的深度和重新聚集化，对模型性能产生了很大的影响，因此我们从经验上为迅速调整的设置提供了建议。尽管有观察到的优势，但我们仍然在迅速调整中发现了一些局限性，我们相应地指出了未来研究的方向。代码可在\ url {https://github.com/ofa-sys/ofa}中获得

机上的机器学习使本地客户端推荐模型的轻量级部署可以减轻基于云的推荐人的负担，并同时结合了更多实时用户功能。然而，考虑到其强大的模型能力以及从十亿级项目库中产生的有效候选人，该行业的基于云的建议仍然非常重要。以前的尝试将两种范式的优点整合起来主要诉诸于顺序机制，该机制在基于云的建议之上构建了在设备上的推荐人。但是，当用户兴趣发生巨大变化时，这种设计是不灵活的：设备模型被有限的项目缓存粘住，而基于大型项目池的基于云的推荐则没有新的重新汇总反馈。为了克服这个问题，我们提出了一个元控制器，以动态管理推荐装置推荐人与基于云的推荐人之间的协作，并从因果角度引入一种新颖的有效样本构造，以解决元控制者的数据集缺失问题。在反事实样本和扩展培训的基础上，在工业推荐方案中进行的广泛实验显示了在设备云协作中Meta控制器的承诺。

近年来，自我监督学习（SSL）已广泛探索。特别是，生成的SSL在自然语言处理和其他AI领域（例如BERT和GPT的广泛采用）中获得了新的成功。尽管如此，对比度学习 - 严重依赖结构数据的增强和复杂的培训策略，这是图SSL的主要方法，而迄今为止，生成SSL在图形上的进度（尤其是GAES）尚未达到潜在的潜力。正如其他领域所承诺的。在本文中，我们确定并检查对GAE的发展产生负面影响的问题，包括其重建目标，训练鲁棒性和错误指标。我们提出了一个蒙版的图形自动编码器Graphmae，该图可以减轻这些问题，以预处理生成性自我监督图。我们建议没有重建图形结构，而是提议通过掩盖策略和缩放余弦误差将重点放在特征重建上，从而使GraphMae的强大训练受益。我们在21个公共数据集上进行了大量实验，以实现三个不同的图形学习任务。结果表明，Graphmae-A简单的图形自动编码器具有仔细的设计-CAN始终在对比度和生成性最新基准相比，始终产生优于性的表现。这项研究提供了对图自动编码器的理解，并证明了在图上的生成自我监督预训练的潜力。